Quách Hoài có tên tự là Bá Tế (伯濟), người huyện Dương Khúc quận Thái Nguyên (thuộc Tinh châu).

Ông nội Quách Hoài là Quách Toàn, làm Đại tư nông thời Đông Hán, cha ông là Quách Ôn làm thái thú Nhạn Môn.

Những năm đầu niên hiệu Kiến An của Hán Hiến Đế, Quách Hoài thi đỗ Hiếu Liêm, được phong chức quan Bình Nguyên phủ thừa.

Khi Tào Phi còn làm Ngũ quan tướng, cho mời Quách Hoài vào làm môn hạ dưới trướng, sau đổi làm Thừa tướng Binh tào Nghị lệnh sử.